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摘要 : [目的 /意义 ] 旨 在 构建 社会 化 问答 社区 用 户 生成 答案 质量 评价 指标 体系 ,实现 面向 用 户 需 求 的 答案 
质量 自动 化 评价 和 筛选 ,提高 社会 化 问答 社区 知识 服务 质量 。[ 方 法 “过程 ] 引 入 社会 情感 特征 和 用 户 特征 , 运 
用 因子 分 析 和 结构 方程 实证 构建 用 户 生成 答案 质量 评价 指标 体系 。 基 于 CA-BP 神经 网 络 模型 设计 答案 质量 自 
动 化 评价 方法 。 最 后 ,选取 知 乎 网 站 数据 对 用 户 生成 答案 质量 评价 指标 体系 和 自动 化 评价 方法 进行 应 用 研究 。 
[ 结果/ 结论] 构建 包含 答案 文本 特征 、 回 答 者 特征 、 时 效 特征 、 用 户 特征 、 社 会 情感 特征 5 个 维度 的 评价 指标 体 
Bo 实验 分 析 发 现 基 于 GA-BP 神经 网 络 的 答案 质量 自动 化 评价 方法 相 比 于 其 他 方法 准确 率 较 高 .平均 误差 低 ， 


完 有 可 行 性 和 有 效 性 ,能 够 进一步 应 用 和 推广 实践 。 
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近年 来 社会 化 问答 社区 迅速 发 展 ,注册 用 户 数量 
均 晤 现 指数 式 增长 。 以 知 乎 为 例 , 自 2013 年 向 公众 开 
WGPW ,截至 2018 年 11 月 底 , 知 乎 官方 宣布 注册 用 户 
已 纵 超 过 2. 2 亿 , 其 问题 数 超过 3 000 万 ,回答 数 超过 
1,3 亿 。 社 会 化 问答 社区 已 发 展 成 为 多 元 化 机制 完 
善 的 大 型 知识 分 享 平台 ,成 为 人 们 日 常 获取 信息 与 知 
识 的 重要 途径 。 然 而 ,社会 化 问答 社区 具有 社会 化 和 
开放 性 的 特点 ,平台 上 的 问题 和 答案 以 用 户 参 与 生成 
为 名 。 任 何 用 户 都 可 以 随意 地 提问 和 回答 问题 ,这 使 
得 用 户 生 成 答案 的 质量 良 劳 不 齐 。 而 且 提问 用 户 受 到 


成 为 社会 化 问答 社区 运营 或 需 解决 的 问题 。 


1 国内 外 相关 研究 现状 


1.1 问答 社区 答案 质量 评价 特征 选取 


内 外 学 者 尝试 从 数据 质量 框架 、 信 息 质 量 评价 
标准 、 外 部 线索 等 不 同 角度 选取 用 户 生成 答案 质量 评 


价 特征 ,验证 不 同 特征 对 答案 质量 的 影响 ,加 入 诸如 情 
感 . 时 效 等 特征 维度 ,并 针对 不 同 问答 平台 进行 应 用 研 
究 , 但 是 仍然 没有 形成 统一 的 评价 标准 。 

国外 方面 ,S，Kim 等 研究 发 现 Yahoo! Answers 


自身 经 验 和 认 知 局 限 , 其 所 采纳 的 答案 未 必 是 最 佳 特 
案 , 有 的 甚至 是 恶意 的 广告 或 虚假 信息 ,从 而 使 得 用 户 
在 社会 化 问答 社区 搜寻 、 鉴 别 和 获取 知识 等 方面 付出 
了 大 量 的 时 间 和 精力 , 出现“ 知识 过 载 和 迷航 ”现象 ， 
降低 了 用 户 知识 搜寻 和 获取 的 效率 ,难以 获得 良好 的 
用 户 体验 。 另 外 , 随 着 社会 化 问答 社区 用 户 规模 扩大 ， 
用 户 生 成 问题 和 答案 数量 也 越 来 越 多 ,通过 人 工 方式 
进行 答案 质量 评价 变 得 困难 而 且 效 率 低 下 ,仅仅 依靠 
人 工 审核 或 标注 难以 解决 当前 社会 化 问答 社区 面临 的 
问答 质量 问题 。 因 此 ,用 户 生成 答案 质量 自动 化 评价 


用 户 选 取 和 采纳 最 佳 答案 时 会 考虑 社会 性 情感 内容 
及 效用 相关 的 评价 标准 ,并 且 不 同 话题 的 评价 标准 也 
存在 差异 ;D. Ishikawa 等 ”构建 了 包括 回答 者 经 验 .证 
据 来 源 、 礼 貌 程度 ,详细 程度 意见 、 相 关 性 、 具 体 化 程 
HE 全面 性 等 12 个 维度 的 问答 社区 答案 质量 评价 指标 
体系 。S. Oh 等 中 选取 信息 准确 性 ,完整 性 .相关 性 、 
来 源 可 靠 性 .回答 者 同情 心 .客观 性 可 读 性 ,礼貌 、 自 
信和 .回答 者 的 努力 10 个 指标 作为 衡量 答案 质量 的 评价 
标准 ,对 比分 析 不 同 职业 人 员 对 问答 社区 答案 质量 的 
评估 差异 。P.，Fichman™ 从 准确 性 、 完 整 性 、 可 证 实 性 
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3 个 方面 对 问答 社区 答案 质量 评价 ,发 现 部 分 非 主流 
问答 网 站 的 答案 质量 也 很 高 ,问题 回答 质量 与 问答 社 
区 平台 自身 关系 较 小 。A. Y. K. Chua 等 ”研究 了 回 
答 速度 与 答案 质量 之 间 的 关系 ,发 现 不 同类 型 问题 的 
回答 质量 和 回答 速度 之 间 存 在 显著 差异 ,最 优质 的 答 
案 比 最 快 的 答案 有 更 好 的 整体 回答 质量 。 

国内 方面 ,学 者 们 主要 从 答案 的 文本 、 非 文本 等 不 
同 角度 选取 特征 指标 构建 答案 质量 评价 指标 体系 。 孙 
晓 宁 等 中 从 内 容 质量 ,情境 质量 来 源 质量 和 情感 质量 
4 个 维度 ,实证 构建 了 社会 化 搜索 答案 质量 评价 模型 。 
李 翔 宇 等 "结合 专家 评分 法 及 三 角 模 糊 加 权 平 均 G1 
法 ,构建 了 SQA 平台 答案 质量 评测 指标 体系 ,并 证 实 
了 答案 质量 评测 指标 体系 的 科学 性 。 张 煜 轩 呈 结合 线 
索 理论 基于 用 户 视角 ,发 现 信息 利用 线索 .信息 认同 线 
< 信息 举报 线索 .信息 否定 线索 .信息 能 力 线索 .信息 
线索 .系统 推荐 线索 7 类 外 部 线索 对 用 户 感知 判 
会 化 问答 社区 信息 质量 产生 影响 ,提出 了 基于 外 


量 , 通 过 提取 问题 .答案 和 用 户 的 各 种 特征 训练 分 类 
器 进行 最 佳 答案 选取 研究 。 
国内 方面 , 李 晨 等 ” 基于 给 定 的 问答 质量 判定 标 
准 ,通过 提取 文本 和 非 文 本 两 类 特征 集 , 利 用 机 器 学 习 
算法 设计 和 实现 了 基于 特征 集 的 问答 质量 分 类 器 。 王 
伟 等 ”将 结构 化 特征 、 文 本 特征 .用户 社交 属性 引入 
中 文 问答 社区 答案 质量 评价 特征 体系 ,然后 选取 人 逻辑 
回归 支持 向 量 机 和 随机 森林 3 种 评价 方法 ,结合 新 设 
计 的 3 个 方面 特征 和 经 典 的 文本 特征 、 链 接 特征 ,对 高 
质量 和 非 高 质量 的 回答 进行 分 类 研究 。 崔 敏 君 等 … 
基于 问题 类 型 提取 文本 , 非 文本 .语言 翻译 性 答案 中 
的 链接 数 4 类 特征 ,采用 逻辑 回归 算法 对 各 类 型 问题 
的 答案 质量 进行 评价 。 胡 海峰 等 ” 从 答案 的 文本 信 
上 息 和 非 文 本 信息 的 特征 表示 与 融合 两 方面 人 手 , 针 对 
社区 问答 系统 用 户 生成 答案 质量 评价 方法 开展 研究 。 
1.3 研究 述评 
通过 梳理 已 有 的 研究 成 果 , 不 难 发 现 当前 国内 外 


部 线索 的 社会 化 问答 平台 的 信息 质量 感知 模型 。 姜 走 


等 ~ 将 情感 特征 引入 在 线 问答 社区 信息 质量 评价 ,从 
JC AE ,用户 特征 .时 效 特征 ,情感 特征 4 个 维度 评 
站 在 线 问答 社区 信息 质量 ; 豆 红 等 '" 从 信息 质量 定义 
册 欧 构建 了 回答 形式 、 回 答 内 容 和 回答 效用 3 个 维度 
的 问答 社区 答案 质量 评价 指标 体系 。 孔 维 泽 等 "从 
基本 文本 特征 .时 序 特征 链接 特征 、 问 题 粒 度 特征 和 
全 要 知道 社区 用 户 特征 角度 对 问答 社区 管 案 质量 进行 
WD DRT 引入 新 的 RIPA 理论 ,认为 用 户 生成 
内 容 的 完整 性 .专业 性 和 权威 性 3 个 指标 是 影响 社会 
问 医 平台 答案 质量 的 关键 因素 。 
1.2 问答 社区 答案 质量 评价 方法 研究 

目前 国内 外 学 者 一 般 将 答案 质量 评价 视 为 基于 机 
器 学 习 的 分 类 问题 ,选取 机 器 学 习 方 法 应 用 于 问答 
社区 答案 质量 评价 ,例如 最 大 信 .支持 向 量 机 .决策 树 、 
随机 森林 ,逻辑 回归 .神经 网 络 等 。 部 分 学 者 采用 层次 
分 析 .模糊 综合 评价 等 传统 评价 方法 ,也 有 部 分 学 者 基 
于 构建 的 评价 指标 体系 进行 人 工 性 标注 评价 ,采用 人 
工 评价 和 自动 化 评价 相 结合 的 方法 。 国 外 研究 方面 ， 
部 分 学 者 为 提高 最 佳 答案 的 发 现 和 预测 精准 性 ,将 答 


主要 是 采用 单一 特征 或 多 个 特征 指标 组 合 的 方式 构建 
用 户 生成 答案 质量 评价 指标 体系 ,但 是 构建 的 评价 指 
标 体系 存在 不 够 全 面 ,没有 统一 标准 、 部 分 指标 具有 主 
观 性 和 模糊 性 、 难 以 进行 量化 和 判断 等 问题 。 很 少 有 
研究 考虑 用 户 社会 情感 特征 对 答案 质量 评价 的 影响 ， 
也 没有 考虑 用 户 需 求 .兴趣 爱好 、 认 知 水 平等 个 体 差 异 
性 特征 ,缺乏 形成 面向 用 户 需 求 的 个 性 化 评价 指标 体 
系 。 学 者 们 将 答案 质量 评价 看 作 是 机 器 学 习 分 类 问 
题 , 运 用 SVM 随机 梯度 增强 RRP oc AUi 3848 
归 、 贝 叶 斯 J48 等 方法 , 均 取 得 了 良好 的 实验 效果 。 虽 
然 目前 存在 大 量 的 针对 答案 质量 自动 化 评价 研究 ,但 
是 很 少 有 学 者 采用 神经 网 络 方法 进行 评价 ,没有 对 比 
其 与 其 他 方法 有 效 性 和 准确 性 上 的 差异 。 

鉴于 此 ,本文 拟 结合 前 人 的 研究 成 果 , 从 用 户 需 求 
角度 构建 用 户 生成 答案 质量 自动 化 评价 指标 体系 , 试 
图 解决 评价 指标 模糊 化 .不够 全 面 、 缺 乏 个 性 化 等 问 
题 ,并 将 答案 质量 自动 化 评价 看 作 是 机 器 学 习 问 题 , 选 
取 了 机 器 学 习 中 典型 方法 遗传 算法 优化 BP 神经 网 络 
模型 ,基于 本 文 构建 的 用 户 生 成 答案 质量 自动 化 评价 
指标 体系 开展 实证 应 用 研究 ,提出 一 种 社会 化 问答 社 


可 


案 质量 评价 视 为 分 类 问题 ,通过 改进 分 类 算法 提高 最 
佳 答案 发 现 和 预测 的 精准 性 和 召回 率 。 例 如 :J，jJeon 
等 "提出 基于 非 文 本 特征 的 问答 社区 答案 质量 预测 
方法 ,实证 研究 发 现 比 基于 基础 特征 的 问答 社区 答案 
质量 预测 具有 显著 的 改进 。C， Shah 等 以 Yahoo! 
Answers 为 例 ,首先 采用 人 工 标注 评价 给 定 问题 的 答案 


区 用 户 生 成 答案 自动 化 评价 方法 。 


2 用户 生成 答案 质量 评价 指标 体系 构建 
2.1 评价 指标 的 初步 选取 

本 研究 参照 文献 [13] 在 分 析 答案 质量 评价 指标 
的 基础 上 ,认为 用 户 在 评价 答案 质量 过 程 中 受到 多 方 
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面 因素 的 影响 ,一 般 情况 下 需要 考虑 答案 文本 内 容 质 
回答 者 质量 、 时 效 性 ,大 部 分 研究 也 证 实 了 这 3 类 
特征 对 答案 质量 的 影响 。 然 而 ,社会 化 问答 社区 作为 
开放 的 社交 类 网 站 ,用 户 在 筛选 和 评价 答案 过 程 中 ,也 
会 考虑 其 他 用 户 对 于 答案 质量 的 评价 情况 (诸如 :点 
赞 转发 .评论 等 ) ,容易 受到 周围 的 人 际 关 系 、 社 区 意 
见 领袖 、 交 流 互动 等 因素 影响 ,问答 社区 中 意见 领袖 能 
够 影响 其 他 用 户 的 认 知 ,他 们 的 答案 能 够 获得 较 多 粉 
丝 的 支持 和 赞同 。 而 且 ,回答 者 的 回答 情感 态度 和 
积极 程度 也 会 影响 用 户 采 纳 答案 。 所 以 ,本 文 将 用 户 
对 于 答案 的 社会 情感 态度 特征 引入 管 案 质 量 评价 。 田 
外 ,社会 化 问答 社区 不 同 的 用 户 受 到 认 知 、 需 求 和 兴趣 
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爱好 等 自身 特征 影响 ,对 于 答案 质量 评价 拥有 不 同 的 
标准 和 要 求 。 因 此 ,答案 质量 评价 过 程 中 还 需要 考虑 
用 户 自 身 的 特征 ,使 得 得 选 的 答案 更 满足 用 户 个 性 化 

所 以 ,本 文 将 用 户 社会 情感 和 用 户 自身 特征 引入 
答案 质量 评价 ,将 用 户 生成 答案 质量 评价 指标 分 为 5 
个 维度 ,分别 是 答案 文本 特征 维度 .回答 者 特征 维度 、 
时 效 性 维度 ,用户 特征 维度 .社会 情感 维度 。 然 后 通过 
阅读 和 综述 大 量 的 有 关于 信息 质量 评价 文献 ,并 在 信 
息 系统 成 功 模型 .使 用 与 满足 理论 .数据 质量 框架 
等 理论 研究 的 基础 上 ,初步 选取 了 24 个 评价 指标 ,如 
表 1 所 示 : 


E, 
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R1 用 户 生成 答案 质量 自动 化 评价 指标 初步 筛选 结果 
TTE 指标 解释 及 说 明 主要 参考 文献 来 源 
pm 文本 长 度 答案 文本 包含 的 字符 数 。 答 案 文本 的 长 度 越 长 ,答案 越 丰富 和 完整 [13][20 -26] 
T 关键 词 数量 答案 文本 中 包含 的 关键 词 数量 [17][22][24] 
(© 句子 数量 答案 文本 中 包含 的 句子 数量 24] 
e 停 用 词 数 答案 文本 中 包含 的 通用 词 数量 , 停 用 词 数量 越 少 ,质量 越 高 22] 
(= 问题 与 答案 而 合 度 提问 问题 与 答案 之 间 的 重 番 部 分 ,文本 长 度 之 比 [23][25 -28] 
mN 外 部 链接 数量 答案 文本 中 包含 的 超 链接 的 数量 29] 
e FL 答案 文本 的 段落 数 27] 
3x 问题 答案 长 度 比 问题 长 度 与 答案 长 度 的 比值 23] 
EC 四 答 者 特征 最 佳 答案 数量 回答 者 的 所 有 答案 中 被 选 为 最 佳 答案 的 数量 22 -23][29 -30] 
CN 回答 问题 数量 可 答 者 的 所 有 回答 的 数量 ,表明 回答 者 的 经 验 和 参与 积极 性 [15][22 -23][29 -30] 
~ 用 户 权威 性 回答 者 的 社区 等 级 (积分 ) ,表明 专业 程度 和 影响 力 13][29 -30][31] 
«| 提问 数量 可 答 者 提问 问题 的 数量 29 -30 
Vieh 答案 的 相对 回答 次 序 答案 在 所 有 答案 中 的 相对 位 置 15][22 -23][26] 
c 答案 与 问题 生成 间隔 时 间 回答 时 间 与 提问 时 间 的 间距 13][23][26][32 
"eos 和 户 学 历 水 平 提问 者 的 专业 水 平和 学 历程 度 15][25][29][33 
O J pE 提问 者 以 往 提问 问题 的 数量 15][25][29][33 
户 偏好 与 答案 耦合 度 户 的 习惯 ,个 人 偏好 信息 需求 与 答案 的 关联 性 15][25][29][33 
用 户 等 级 提问 者 的 权威 性 和 影响 力 [13][15][21][29][33] 
社会 情感 情感 特征 词 数量 答案 文本 中 包含 的 情感 词 的 数量 [13] 
可 答 者 情感 态度 答案 文本 呈现 出 的 回答 者 情感 态度 倾向 性 [13][24] 
赞同 数量 答案 被 赞同 /支持 的 数量 [16][22 -23] 
反对 数量 答案 被 反对 / 踩 的 数量 [22 -23] 
评论 互动 数量 答案 被 评论 的 数量 [15 -16][29][32] 
关注 关系 回答 者 与 提问 者 的 好 友 关系 自 设 
初步 选取 社会 化 问答 社区 用 户 生 成 答案 质量 评价  ” 价 指标 , 见 图 1。 具 体 的 修正 如 下 : 


指标 后 ,笔者 采用 专家 访谈 方法 修正 相关 表述 ,重点 从 
指标 的 合理 性 ,完整 性 两 个 角度 听取 专家 的 意见 ,探讨 


(1) 删 除 回答 者 特征 维度 的 “回答 者 提问 问题 数 
Tg" ,因为 回答 者 提问 问题 的 数量 体现 了 回答 者 需求 ， 


评价 指标 维度 划分 和 选取 是 否 合理 ,指标 名 称 是 否 恰 
24 ,是否 存 在 模糊 性 、 难 以 测量 等 问题 ,消除 指标 的 此 
义 和 模 糊 性 ,初步 实现 指标 的 规范 化 筛选 。 最 后 依据 
专家 的 建议 和 反馈 ,形成 用 户 生成 答案 质量 自动 化 评 
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不 能 体现 回答 者 生成 答案 的 能 力 和 经 验 水 平 , 对 于 回 
答 者 生成 答案 质量 影响 不 够 明显 。 删 除 答案 文本 特征 
中 的 “ 停 用 词 数量 “段落 数 “ 答 案 与 问题 的 耦合 度 ”3 
个 指标 ,因为 答案 文本 的 停 用 词 数 应 该 是 答案 文本 长 
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an SAID SERT! 


Bey a e t cit , deb cm n fede RETE, IR 
特征 中 "段落 数 "不 能 够 体现 答案 质量 ,对 答案 
影响 较 小 。 另 外 ， 答 案 与 问题 耦合 度 " 和 ”用 
与 答案 耦合 度 " 重 复 ,用 户 提 问 问题 是 用 户 需求 
的 体现 ,所 以 删除 答案 文本 特征 中 的 " 停 用 词 数量 ” 
“段落 数 “ 问 题 与 答案 的 耦合 度 "3 个 指标 。 删 除 用 户 
维度 的 “用 户 学 历 水 平 " 指标 ,因为 用 户 学 历 水 平 对 用 
户 判断 答案 文本 质量 影响 较 小 。 


(2) 评 价 指标 因素 的 补充 。 答 案 文本 维度 增加 
“图 片 或 动画 数量 "指标 ,由 于 移动 互联 网 环境 下 ,很 
多 用 户 乐于 通过 图 片 或 动画 来 理解 或 掌握 知识 ,并 且 
图 片 或 动画 包含 的 信息 量 大 ,能 够 使 用 户 易于 理解 和 
掌握 答案 内 容 。 所 以 ,用 户 生成 答案 中 的 图 片 或 动画 
的 数量 影响 答案 质量 。 回 答 者 特征 维度 补充 “专业 领 
域 与 问题 的 匹配 度 " 指标 ,体现 回答 者 的 专业 程度 和 对 
于 问题 的 了 解 熟悉 程度 。 


社会 化 问答 社区 用 户 生成 答案 质量 评价 | 
A 
| 答案 文本 特征 | | 可 答 者 特征 | 时 效 性 | | 户 特征 | | 社会 情感 
B1 B2 B4 B5 

T- 

ra ARRIERE el TS | | | | Fus A 

专 dk 答 

LO " 业 2 i p . 

x [x AE: XL T i 和 H JBHIE T 
Ož šl «wg 使 | | 答 || 用 || 域 x m 2 Jel RA |z- 论 x 
〇 长 | E xs Zal ala 对 是 提 2| le Il ZIE 

d-— i pu pm X 
|a| E Eja a Ed M Ei 4 E^ [E [8| S E RI E 
Qi zig mo WIE || 是 答 E 案 PNE 数 | 系 
* Eng E|% 量 || 量 || | pm id 成 数 i] 数 mA | | C17| | cl8| | & || C20 
C2 TO | 比 || 量 | 0 | Jp [8] 量 2. 量 | | 度 "E 
N C [cs| c6 C7 | pes E 序 W C13 g| | cl5| [c16 
© T Cll c12 Ci 
co 
ES 图 1 社会 化 问答 社区 用 户 生成 答案 质量 评价 指标 初 选 结果 


2N 用户 生成 答案 质量 评价 指标 体系 实证 分 析 
2.291 问卷 设计 和 发 放 调查 问卷 主要 是 对 社会 化 
阔 上 轿 社区 用 户 生成 答案 质量 的 测量 ,采用 陈述 句 的 方 
式 震 这 各 个 评价 指标 对 于 答案 质量 测量 的 可 行 性 和 合 
理 悍 。 通 过 网 络 和 实地 发 放 的 形式 ,总 计 回 收 调查 问 
d an ui" 
机 分 为 两 部 分 (每 部 分 样本 数量 290 43) ,分 别 用 于 
EFA( 探 索性 因子 分 析 ) 和 CFA( 验证 性 因子 分 析 ) 。 
通过 对 获取 的 调查 样本 数据 信和 度 检验 发 现 5 个 维 
度 的 Cronbach’ s 的 值 均 大 于 0.8, 总 体 样本 的 信 度 为 
0. 846 ,说 明 调查 样本 获取 的 数据 信和 度 好 ,具有 很 好 的 
可 靠 性 。 但 是 删除 指标 “问题 与 答案 长 度 比值 C5”“ 关 
注 关系 C20”" 后 ,答案 文本 特征 维度 BI 和 社会 情感 维 
HE BS 的 信 度 明显 提高 ,问卷 总 体 信 度 也 会 明显 提高 ， 
说 明 指标 问题 与 答案 长 度 比值 C5 和 “关注 关系 C207 
没有 通过 信 度 检验 ,应 该 予以 删除 。 然 后 进行 KMO 和 
Bartlett 球形 检验 ,分 析 发 现 , Bartlett 球形 检验 近似 卡 
方 显 著 性 ,说 明 相关 和 矩阵 中 存在 公 因 子 ,样本 整体 的 效 
度 很 好 ,适合 进一步 做 因子 分 析 。 
2.2.2 探索 性 因子 分 析 “本 文采 用 主 成 分 分 析 法 进 
f$ EFA ,发 现 抽取 到 5 个 公 因 子 时 累积 方差 贡献 率 达 


到 了 55.051% 。 运 用 最 大 方差 进行 因子 旋转 ,迭代 10 
次 后 收敛 循环 ,得 到 旋转 因子 矩阵 。 结 果 如 表 Bn: 
R2 旋转 因子 矩阵 


= 公 因子 
1 2 3 4 5 

CI 0.617 0.028 0. 166 0. 026 0. 067 
C2 0. 593 0. 163 0. 059 0.029 0.08 
C3 0. 693 0. 126 =0. 121 0. 056 0. 179 
C4 0.581 0.124 0.041 0. 196 — 0. 097 
C6 0. 633 — 0.057 0.2 0.035 -0.072 
C7 0.044 0.112 0.732 0.037 0.184 
C8 0.182 0.058 0.71 0.17 0.078 
C9 0.053 0. 393 0.701 0.089 0.007 
C10 0. 161 0. 265 0. 584 0.154 0. 112 
Cll 0.063 0.274 0.19 0. 168 0. 587 
C12 0.199 0.372 0.009 0. 116 0. 698 
C13 0.12 0. 804 0.271 0.112 0.054 
C14 0.131 0.763 0.212 0. 206 —- 0.001 
C15 =0.023 0.5 0. 105 0.472 0. 496 
C16 0.179 0. 323 0.072 0. 698 0.038 
C17 — 0. 064 — 0.043 0. 389 0.487 0. 396 
C18 -0.029 =0. 137 0. 147 0. 653 0.213 
C19 0.247 — 0. 009 0.124 0. 694 0. 235 


121 


图 二 情报 三 作 


第 63 卷 第 11 期 2019 年 6 月 


六 上; VY 全 1 放 甘 工 
ChinaXiv 合 作 期 刊 


MR 中 可 以 得 出 ,评价 指标 变量 “情感 特征 词 数 
量 C15” 在 公 因 子 2、 公 因子 4、 公 因子 5 上 的 载荷 因子 
很 接近 ,差别 不 是 很 明显 , 效 度 很 差 ,应 该 予以 删除 。 
公 因 子 1 解释 了 Cl、C2、C3、C4、C6 共 5 项 指标 变量 ， 
对 应 了 答案 文本 特征 维度 的 全 部 指标 ; 公 因 子 2 解释 
了 C13 .C14 共 2 项 指标 变量 ,对 应 用 户 特征 维度 的 全 
部 指标 ; 公 因 子 3 解释 了 C7、C8、C9、C10 共 4 项 指标 
变量 ,对 应 了 回答 者 特征 维度 的 全 部 指标 ; 公 因 子 4 解 
释 了 C16、C17、C18、C19, 对 应 社会 情感 维度 的 除 C15 
之 外 的 4 个 指标 ; 公 因 子 5 仅 包 含 了 Cll 、C12 这 两 个 


指标 变量 ,对 应 时 效 性 维度 指标 。 这 与 我 们 前 边 初 步 
假设 的 维度 一 致 ,说 明 本 文 将 用 户 生成 答案 质量 的 评 
价 指标 分 为 5 个 维度 较为 合理 ,后 续 笔 者 将 进一步 结 
合 CFA 的 检验 结果 进行 修正 。 

2.2.3 验证 性 因子 分 析 采用 结构 方程 模型 软件 
AMOS17. 0 软件 进 行 验证 性 因子 分 析 (CFA ) ,利用 另外 
一 部 分 样本 数据 (290 份 ) 进一步 检验 指标 的 有 效 性 ， 
共 设 置 了 17 个 观察 变量 、5 个 潜在 变量 、17 个 残 差 变 
量 。 采 用 最 大 似 然 估 计 方 法 ,观测 变量 与 其 对 应 潜在 
变量 之 间 的 载荷 关系 系数 估计 ,如 表 3 Bros: 


RI 观测 变量 与 其 对 应 潜在 变量 之 间 的 载荷 关系 系数 估计 


对 应 关系 非 标 准 化 值 标准 化 估计 值 S.E C. R. P 是 否 支 持 

Cl 答案 文本 特征 1 0.560 支持 
v C2“ 管 案 文本 特征 0. 970 0. 507 0. 152 6.394 doo 支持 
' CIRALA RE 1.289 0. 638 0.174 7.401 doe 支持 
VU C4 答案 文本 特征 1.425 0.757 0.180 7.896 ook xd 
: ) C6*- 答 案 文 本 特征 1.012 0.512 0.157 6.444 六 六 六 支持 
回答 者 特征 1 0.589 支持 
回答 者 特征 0. 946 0. 616 0. 122 7.753 sek 支持 
回答 者 特征 1.185 0.751 0.137 8.646 sek 支持 
Y C10* 一 回答 者 特征 0.776 0.641 0.097 7.962 tk 支持 
Cl11 二 时 效 性 1 0. 727 支持 
C12 人 和 一 时效 性 1.027 0. 707 0.138 7.449 dei 支持 
i C13 pE A RE 1 0. 875 doe 支持 
问 者 特征 0.917 0.831 0. 080 11.466 tk 支持 
社会 情感 1 0. 607 支持 
社会 情感 1.324 0. 590 0. 186 7.113 dook 支持 

社会 情感 0. 854 0.383 0. 162 5.259 dk 不 支持 
社会 情感 1.279 0.674 0. 168 7.609 tak 支持 

〇 根据 一 般 性 的 经 验 法 则 ,如 果 C. R. 绝对 值 大 于 2.3 评价 指标 的 修正 和 确立 
2.58 ,表示 模型 的 参数 估计 值 达 到 了 0. 01 显著 水 平 ， 采用 探索 性 因子 分 析 和 验证 性 因子 分 析 等 实证 分 
路 径 系 数 获得 数据 的 支持 ; 当 P 值 小 于 0.001 时 ,显示 。” 析 后 ,综合 考虑 EFA 和 CFA 的 检验 结果 ,由 于 答案 文 


“x## 六 ,表示 模型 达到 了 0.001 WEEKE, ME 3 


本 维度 的 “答案 与 文本 长 度 比 值 C5" 获取 数据 未 通过 


可 以 得 出 ,评价 指标 体系 显著 性 检验 中 “反对 数量 
Cl18 "的 标准 化 载荷 因子 估计 值 小 于 0.5 ,说 明 该 指标 
没有 通过 效 度 检验 ,应 该 子 以 删除 。 然 后 ,利用 AMOS 
提供 的 模型 拟 合 度 评价 指标 来 评价 构建 的 评价 指标 
体系 的 合理 性 ,根据 各 指标 的 检验 标准 ,发 现 相关 指 
标 检验 结果 均 在 可 接受 的 范围 之 内 ,总 体 上 构建 的 
评价 指标 体系 基本 达到 了 检验 的 要 求 。 当 删除 观测 
变量 C18 后 ,发 现 模 型 的 绝对 适 配 度 指标 x 值 由 
186.125 减少 到 150.568,CMIN/DF 值 由 1.708 减少 
到 1.602 ,说 明 模 型 的 绝对 适 配 度 性 能 提高 ,所 以 ,更 
加 进一步 证 实 删 除 指标 C18 ,能 够 提高 构建 的 评价 指 
标 体系 合理 性 。 
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信和 度 检验 ,而 且 与 “文本 长 度 C1 "之 间 存 在 一 定 的 重复 
性 ,所 以 将 其 删除 ”关注 关系 C20" 也 没有 通过 信 度 检 
验 ,所 以 也 将 其 删除 ;对 社会 情感 维度 的 “情感 特征 词 
数量 C15 ”进行 主 成 分 分 析 时 ,载荷 因子 在 多 个 公 因子 
上 的 差别 不 是 很 明显 , 效 度 很 差 ,而且 与 “回答 者 情感 
态度 倾向 ”之 间 存 在 相关 性 ,所 以 应 该 予以 删除 。 男 
外 ,对 指标 “反对 数量 C18" 进行 载 集 系 数 检 验 时 ,其 载 
集 系 数 小 于 0.5 不 符合 显著 性 检验 标准 ,同时 删除 后 
模型 整体 的 适 配 度 和 同 维度 指标 的 载荷 系数 得 到 明显 
提升 ,所 以 将 其 删除 。 综 上 所 述 , 最 终 选取 的 社会 化 问 
答 社 区 用 户 生成 管 案 质 量 自动 化 评价 指标 包括 5 个 维 
度 16 个 指标 ,如 图 2 所 示 : 
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3o 评价 指标 的 获取 方式 和 量化 
社会 化 问答 社区 用 户 生成 答案 质量 自动 化 评价 是 
iE 机 运用 算法 程序 自动 化 实现 评价 ,也 需要 实现 评 
优 齐 际 的 自动 量化 。 运 用 GooSeeker Bc Ee URL 
搂 采 集 数 据 和 文本 信息 ,借助 jieba 分 词 工具 、Hownet 
情感 词 典 文本 处 理 技术 等 工具 方法 ,编写 python 程序 
和 Matlab 程序 实现 指标 的 统计 和 量化 。 

GE(1 ) 文 本 特征 维度 指标 获取 方式 和 量化 。 包 括 : 
@ 恬 本 长 度 。 文 本 长 度 可 以 直接 采用 答 案 文本 的 字符 
交行 量化 。 一 定 的 阔 值 范围 内 ,通常 认为 答案 文本 
长 度 越 长 ,所 包含 的 有 用 信息 越 多 , 越 能 够 更 好 地 满足 
用 户 知识 需求 ,答案 质量 越 高 。@ 关 键 词 数量 。 关 键 
词 数量 可 以 采用 管 案 文 本 中 含有 的 除 停 用 词 外 的 词 频 
统计 数值 进行 量化 。 将 总 词 频数 量 减 去 停 用 词 词 频数 
量 得 到 关键 词 数量 。@@ 和 句子 数量 。 句 子 数量 采用 文本 
中 出 现 句 号 .问号 等 表示 句子 结束 符号 的 次 数 进 行 量 
化 。 团 外 部 链接 数量 。 外 部 链接 是 指 答案 文本 中 出 现 
的 参考 来 源 和 答案 扩展 链接 , 可 以 采用 答案 文本 中 出 
现 的 超 链 接 的 数量 直接 统计 量化 。@ 图 片 或 动画 数 
量 。 图 片 或 动画 数量 直接 通过 答案 文本 中 图 片 或 动画 
数量 统计 得 到 。 

(2) 回答 者 特征 维度 指标 获取 方式 和 量化 。 包 
括 :@ 最 佳 回 答 数量 。 最 佳 回答 数量 采用 问答 者 回 竺 
所 有 答案 中 被 采纳 为 最 佳 答案 的 数值 进行 量化 ,也 可 


时 效 性 户 特征 社会 情感 
D a 
案 * 户 回 
的 5 ia * 5 
相 间 和 | | 六 者 | |Z] | 论 
对 题 i 与 情 人 | 
回 的 z 答 感 数 动 
答 间 Z| s CS R4 E 
F E E E 

A A Xl2| | 合 X16 
X10 fa] E 

Xil X13 


2 社会 化 问答 社区 用 户 生成 答案 质量 自动 化 评价 指标 体系 


基于 GA-BP 神经 网 络 的 用 户 生 成 


回答 者 被 知 乎 日 报 或 知 乎 圆桌 收录 的 回答 数量 ,可 用 


于 量化 最 佳 答案 数量 。@ 回 答 问 题 数量 。 回 答 问题 数 
量 采 用 用 户 回答 的 所 有 问题 数量 进行 量化 。 急 用 户 权 


威 性 。 用 户 权威 性 采用 回答 者 的 用 户 等 级 或 积分 直接 
进行 量化 。 用 户 等 级 或 积分 越 高 ,表示 用 户 获得 问答 
社区 认可 度 越 高 ,影响 力 和 权威 性 越 大 的 可 能 性 越 高 。 
个 专业 领域 与 问题 匹配 程度 。 如 果 专 业 领 域 与 问题 领 
域 匹 配 , 则 为 1 ,不 匹配 的 话 为 0。 

(3) 时 效 性 维度 指标 获取 方式 和 量化 。 包 括 : 答 
案 的 相对 回答 顺序 是 指 同一 问题 下 ,答案 按照 回答 时 
间 进 行 排序 ,当前 答案 在 所 有 答案 回答 时 间 的 顺序 位 
置 。 采 用 以 下 的 方式 量化 : 

答案 相对 回答 顺序 = EE EON UA 

答案 与 问题 的 生成 间隔 可 以 采用 回答 日 期 与 提问 
日 期 之 间 的 天 数 差 值 来 进行 数值 量化 。 同 时 为 了 避免 
数值 过 大 造成 偏差 ,运用 分 组 的 方法 进行 消除 。 经 过 
问卷 调查 和 访谈 后 ,天 数 差 值 的 取 值 范围 和 量化 10 分 


制 数值 如 表 4 Bron: 

表 4 答案 与 问题 的 生成 间隔 时 间 数 值 量化 对 应 
KAOSA 量化 数值 KHOA me 
[0-1) 10 [14 -30) 5 
[1-3) 9 [30 90) 4 
[3 -5) 8 [90 - 180) 3 
[5-7) 7 [180 -360) 2 
[Ts 8 6 360 天 及 以 上 1 


(4) 用 户 维度 指标 获取 方式 和 量化 。 包 括 : 中 提 


以 采用 被 采纳 为 最 佳 答案 率 进 行 量 化 。 知 乎 问答 社区 


问 者 提问 数量 。 一 般 社会 化 问答 社区 用 户 基本 信息 中 
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都 包括 提问 者 的 提问 问题 数量 ,直接 采用 抱 取 数值 方 
式 进行 量化 。 例 如 : 知 乎 用 户 基本 信息 中 包括 “提问 
数 "这 个 信息 ,可 以 直接 根据 提问 数 的 数值 进行 量化 。 
加 用 户 偏好 与 答案 耦合 度 。 运 用 答案 文本 和 用 户 偏好 
两 个 向 量 之 间 的 相似 度 大 小 来 进行 量化 ,本 文 认为 问 
题 是 用 户 知识 需求 的 最 直接 体现 ,可 以 采用 问题 与 答 
案 文本 之 间 的 相似 度 进行 度量 。 

(5) 社 会 情感 维度 指标 获取 方式 和 量化 。 包 括 : 
赞同 数量 .评论 互动 关系 可 以 通过 的 取 数据 进行 直接 
量化 ;回答 者 情感 态度 包括 正 向 情感 . 负 向 情感 .中立 
3 种 极 性 ,采用 答案 文本 中 出 现 的 情感 词 数量 来 量化 
回答 者 情感 态度 。 以 情感 基础 词典 为 标准 对 答案 文本 
进行 情感 特征 词 的 数量 统计 ,以 实际 统计 词语 数量 为 
最 化 数值 ;采用 答案 下 方 评论 数量 化 评论 互动 数量 。 
B 基于 GABP 神经 网 络 的 用 户 生成 答案 质量 评价 
AD 
CORP 神经 网 络 是 一 种 利用 误差 反 向 传播 训练 算法 
的 禄 经 网 络 , 也 是 应 用 最 广泛 的 人 工 神经 网 络 算法 , 包 
插 输 入 层 、 隐 层 和 输出 层 3 层 结构 。 标 准 BP 神经 网 络 
和 通 闻 有 监督 的 学 习 方 式 进行 学 习 和 训练 ,采用 误差 函 
绒毛 梯度 下 降 的 方法 学 习 , 使 网 络 的 实际 输出 值 和 期 
望 策 出 值 之 间 的 均 方 误差 最 小 3 。 虽 然 BP 神经 网 络 

绝 被 广泛 地 应 用 于 各 个 领域 ,但 是 存在 易 陷 人 局 部 
BRIE .不 能 保证 收敛 到 全 局 最 小 点 .收敛 速度 慢 、 训 
编 兰 间 过 长 等 问题 。 然 而 ,遗传 算法 ( Genetic Algo- 
ritbm, GA) 用 概率 化 的 寻 优 方法 ,自动 获取 和 指导 优 


化 搜索 空间 , 自 适 应 地 调整 搜索 方向 ,不 需要 确定 的 规 
则 ,具有 很 强 的 全 局 搜索 能 力 和 全 局 优化 性 能 ”“ 。 遗 
传 算法 具有 较 好 的 全 局 搜索 能 力 ,容易 得 到 全 局 最 优 
解 , 很 好 地 克服 BP 算法 局 部 最 优 缺陷 ,上 且 能 够 优化 BP 
神经 网 络 初始 权重 和 浆 值 。 因 此 ,选用 遗传 算法 优化 
BP 神经 网 络 ( 简称”GA-BP 神经 网 络 ”) ,能 够 使 得 BP 
神经 网 络 的 收敛 速度 加 快 ,提高 网 络 的 预测 精度 和 稳 
定性 。 

社会 化 问答 社区 用 户 生成 答案 质量 受到 5 个 维度 
16 个 特征 因素 的 影响 ,其 答案 质量 自动 化 评价 结果 很 
难 用 数学 解析 式 来 表示 ,属于 典型 的 非 线 性 问题 。 然 
而 BP 网 络 作为 多 层 前 馈 型 网 络 ,具有 强大 的 非 线性 映 
射 能 力 , 它 能 够 模拟 分 析 5 个 维度 16 个 评价 指标 因素 
之 间 的 非 线性 关系 ,可 以 实现 非 线性 分 类 和 预测 ,通过 
反复 的 学 习 训练 之 后 可 以 充分 地 逼近 任何 较为 复杂 的 
非 线 性 关系 。 另 外 ,GA-BP 神经 网 络 算法 已 经 被 广泛 
的 应 用 于 其 它 领 域 ,并 取得 了 丰硕 的 研究 成 果 , 拥 有 较 
好 的 理论 和 实践 基础 ,能 够 使 得 社会 化 问答 社区 用 户 
生成 答案 质量 评价 方法 更 具有 客观 性 和 合理 性 。 因 
此 ,本 研究 采用 遗传 算法 改进 BP 神经 网 络 来 实现 社会 
化 问答 社区 用 户 生成 答案 质量 自动 化 评价 。 训 练 BP 
神经 网 络 前 先 用 遗传 算法 对 BP 神经 网 络 的 初始 权 值 
和 立 值 进行 寻 优 , 缩 小 搜索 范围 之 后 ,再 利用 BP 神经 
网 络 算法 进行 自动 化 评价 。 

基于 GA-BP 神经 网 络 的 社会 化 问答 社区 用 户 生 
成 答案 质量 评价 过 程 如 图 3 所 示 : 


Oo 数据 采集 
Y 
预 处 理 和 归 一 化 
编码 
y i" 初始 化 神经 网 络 评价 模型 构建 
A 初始 化 种 群 
bo» 
y 确定 隐 层 节点 数量 
HR. EX GER 评价 模型 » 应 
Y J 
是 否 达 到 精度 > KERE, ME 性 能 评价 
y 4— —— 
遗传 算法 网 络 训练 、 学 习 获得 评价 质量 等 级 
A ! 
训练 数据 y 
是 否 达到 精度 初步 评价 模型  -—- 测试 数据 
À 
是 ERE Ft 
网 络 结构 
BP 神经 网 络 
图 3 社会 化 问答 社区 用 户 生 成 答案 质量 自动 化 评价 过 程 
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y — 
以 “ 知 乎 ” chin AES BEI 


3.2.1 指标 特征 提取 量化 和 归 一 化 处 理 首先 ,运用 
自动 爬虫 采集 软件 GooSeeker 软件 自动 化 候 取 数据 , 采 
用 3.1 小 节 指 标量 化 方法 提取 各 个 评价 指标 特征 。 由 
于 提取 到 的 样本 数据 中 各 个 指标 量化 值 拥有 不 同 的 数 
量 级 ,而且 相 互 之 间 存 在 差距 。 在 运用 GA -BP 神经 网 
络 计算 与 评价 时 ,如 果 数 据 之 间 的 差别 过 大 ,容易 导致 
网 络 的 权重 也 有 同样 数量 级 的 差别 ,致使 构建 的 网 络 
非常 敏感” 。 为 了 确保 BP 神经 网 络 的 训练 速度 和 精 
JE ,避免 因为 数据 过 大 或 者 过 小 造成 误差 ,需要 将 采集 
本 文采 用 S 型 函数 作为 激 

函数 ,S 型 激活 函数 的 值 域 限制 在 [ -1,1], 所 以 采 
-1,1] ,采用 prem- 

函数 对 提取 到 的 样本 数据 进行 归 一 化 处 理 ,如 公 
An \ 公 式 (2) Bon : 


pN-22(p-minp) | 公式 (1) 
max p — min p 
TN 22€ mint) | 公式 (2) 


max £ — min t 


E min p e max p 分别 表示 输入 数据 的 最 小 
(CRURA min t 和 max t 分 别 表 示 输 出 数据 的 最 小 
AERA f. 

30b 初始 化 BP 神经 网 络 
三 (1) 输 入 层 、 和 输出 层 确 定 。Kolmogorov z HENE 
BB 种 经 网 络 中 采用 1 层 隐 层 网 络 就 能 够 以 任意 精度 


表 5 答案 文本 质量 等 级 划分 


答案 文本 之 间 相 似 度 答案 质量 等 级 量化 分 数 ( 相 似 度 * 10) 
[0,0.2) 非常 低 [0,2) 
[0.2,0.4) 低 [2,4) 
[0.4,0.6) 一 般 [4,6) 
[0.6,0.8) 高 [6,8) 
[0.8,1.0] 非常 高 [8,10) 


(2) 隐 层 节点 数量 确定 。 本 文选 取 试 凑 法 确定 BP 
神经 网 络 的 隐 层 节点 数量 。 在 BP 神经 网 络 中 其 它 参 
数值 保持 不 变 的 情况 下 ,使 用 同一 样本 集 进 行 训练 , 通 
过 调整 隐 层 神经 节点 的 数目 重复 测试 ,选取 MSE 取 最 
小 值 的 节点 数量 作为 最 佳 隐 层 神经 元 节点 的 数目 。 采 
用 公式 (3 ) 计算 方法 ,得 到 一 个 粗略 的 估计 值 作 为 初 
始 值 , 再 用 试 凑 法 确定 最 佳 隐 人 层 节 点 数 。 

ARG) 

公式 (3) 中 ,n 为 隐 层 节点 个 数 ,n 为 输入 层 节 点 
数 ,m 为 输出 层 节 点 数 ,a 为 1 — 10 之 间 的 常数 。 

(3) 初 始 化 函数 设 定 。BP 神经 网 络 中 的 函数 包括 
传递 函数 .学习 函数 和 性 能 函数 。 

传递 函数 通常 使 用 S 型 对 数 或 正切 函数 ,由 于 本 
研究 将 输入 输出 数据 都 归 一 化 处 理 到 [ -1,1] 范 围 
内 ,符合 使 用 Sigmoid 型 正切 函数 对 于 数值 区 间 的 取 值 
要 求 ,所 以 传递 函数 选取 隐 层 传递 函数 tansig 和 输出 
层 传递 函数 logsig。 采 用 带 有 动量 梯度 下 降 法 作为 网 
络 的 训练 方法 ,学 习 函 数 采用 learngdm 函数 ,这 个 学 习 


去 旺 近 任意 映射 关系 。 因此 ,为 了 简化 模型 的 复杂 度 
MIE GA -BP 神经 网 络 的 学 习 速度 与 效率 ,本 研究 将 
社 众 化 问答 社区 用 户 生成 答 案 质 量 评价 模型 网 络 结构 
设置 为 3 层 , 仅 包括 1 层 隐 层 。 社 会 化 问答 社区 用 户 
生成 答案 质量 评价 的 5 个 维度 16 个 指标 作为 GA -BP 
神经 网 络 的 输入 层 , 即 CA-BP 神经 网 络 的 输入 层 神经 
元 个 数 为 16 个 。 输 出 层 输出 的 结果 反映 社会 化 问答 
社区 用 户 生成 答案 质量 的 高 低 ,所 以 输出 层 的 神经 元 
个 数 为 1。 

部 分 研究 中 采用 人 工 标注 方式 对 答案 质量 等 级 进 
行 标 注 并 作为 输出 变量 ,将 答案 质量 等 级 分 为 非常 低 、 
低 一 般 、 高 、 JOE S 个 等 级 ,但 是 人 工 标注 可 能 与 用 
户 真正 需求 存在 差异 。 为 了 体现 出 用 户 信 息 需求 的 差 
异性 ,本 文 将 用 户 选 取 的 最 佳 答案 定义 为 最 高 级 ,然后 
计算 其 余 答 案 文 本 与 最 佳 答案 之 间 的 相似 度 ,依据 相 
似 度 将 答案 质量 进行 等 级 划分 , 见 表 5。 如 果 没 有 最 


佳 答案 , 则 选择 赞同 / 文 持 票 数 最 多 的 答案 为 最 佳 答 


案 。 


函数 可 以 采用 输入 .误差 ,权重 及 阔 值 的 学 习 率 和 动量 
常数 来 计算 权重 或 者 阀 值 的 变化 率 , 训 练 函 数 选 择 
traingdm 国 数 。 
(4) 初 始 化 权重 和 浆 值 确定 。 采 用 遗传 算法 优化 
BP 神经 网 络 初始 化 权 值 和 浆 值 的 方法 如 下 : 
个 体 编码 ,生成 初始 的 种 群 。 采 用 实数 编码 方式 
对 个 体 进 行 编码 。 编 码 串 由 隐 层 与 输入 层 连接 权 值 、 
输出 层 与 隐 层 连接 权 值 、 隐 层 阔 值 、. 输 出 层 闪 值 。 将 网 
络 的 权 值 和 阔 值 按照 一 定 的 顺序 级 联 起 来 ,形成 一 个 
rt oe 编码 的 长 度 
见 公 式 (4)。 在 连接 权 值 和 阅 值 范 围 内 ,产生 种 群 M 
to 由 于 种 群 的 规模 对 遗传 算法 
的 全 局 搜索 性 能 有 很 大 的 影响 ,因此 ,种群 的 规模 要 根 
据 具 体 的 问题 选取 合适 的 数量 。 


S=nXn, +n, Xxm+n, +m 


公式 (4) 
其 中 ,5 为 种 群 的 规模 ,n, 为 隐 层 节点 个 数 ,n 为 输 

入 层 节 点 个 数 ,m 为 输出 层 节 点 个 数 。 
适应 度 函 数 的 设 定 。 遗 传 算法 进化 搜索 过 程 以 适 
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应 度 函数 为 依据 ,利用 种 群 中 每 个 染色 体 的 适应 度 值 
搜索 ,适应 度 值 较 高 的 个 体 遗 传 到 下 一 代 的 概率 较 大 。 
将 适应 度 函 数 设 定 为 BP 神经 网 络 误差 的 倒数 , 当 该 
适应 度 函 数 为 最 大 值 时 BP 神经 网 络 的 权重 和 净值 得 
到 最 优化 ,如 公式 (5 ) 所 示 : 


FO) -WE 公式 (5) 

ARG) PSO) 表示 第 i 条 染色 体 的 适应 度 值 ; 
MSE 为 BP 神经 网 络 的 预测 输出 与 期 望 输出 之 间 的 误 
差 平方 和 。 

个 体 的 选择 。 选 择 操作 采用 排序 方法 ,按照 个 体 
适应 度 值 的 大 小 由 小 到 大 排列 ,最 小 适应 度 值 的 个 体 
对 应 的 序号 为 1, 最 大 适应 度 值 的 个 体 对 应 序号 为 M。 
然后 根据 个 体 的 适应 度 值 的 大 小 ,按照 适应 度 比例 选 
择 法 计算 个 体 的 选择 概率 。 概 率 值 计算 如 公式 (6) 所 


公式 (6) 
bu 
Ff 为 个 体 i 的 适应 度 值 ;m 为 种 群 个 


变异 操作 。 交 叉 操 作 采 用 单 点 交叉 ， 
最 偷 个体 没有 交叉 操作 ,而 是 直接 复制 进入 到 下 一 代 。 
对 守 其 他 个 体 , 则 使 用 交叉 概率 忆 表示 对 2 个 个 体 交 
又 摆 作 ,产生 另外 2 个 新 个 体 的 概率 。 同 样 , 最 优 个 体 
专用 有 进行 变异 操作 ,而 是 直接 复制 到 下 一 代 。 变 蜡 
操作 采用 均匀 变异 ,对 于 其 他 的 个 体 , 则 是 用 变异 概率 
ps 进行 变异 操作 ,产生 出 另外 新 的 个 体 。 然 后 计算 当 
前 侈 体 中 每 个 染色 体 的 适应 度 值 , 找 出 当前 最 优 适 应 
度 值 的 个 体 ,反复 迭代 ,直到 满足 条 件 为 止 。 

循环 操作 步骤 (2) - (4) ,直到 训练 目标 达到 设置 
要 求 或 者 迭代 的 最 大 次 数 为 止 ,获得 BP 神经 网 络 的 
初始 权 值 和 阔 值 。 
3.2.3 GA.BP 神经 网 络 的 训练 过 程 将 C4-BP 神 经 
网 络 方法 学 习 训练 应 用 于 社会 化 问答 社区 用 户 生成 答 
案 质量 评价 ,就 是 将 实际 输出 的 答案 质量 评价 等 级 什 
y 和 期 望 质量 评价 等 级 值 了 值 进行 比较 分 析 , 如 果实 
际 输出 答案 质量 评价 等 级 值 和 期 望 答案 质量 评价 等 级 
值 不 相等 ,那么 会 根据 相关 误差 计算 公式 得 到 误差 , 然 
后 把 误差 信号 按照 原来 的 路 径 进行 反 向 传输 ,利用 输 


学 习 后 得 到 评价 网 络 模型 的 权 值 和 姜 值 .结构 和 隐 层 
节点 个 数 ,形成 社会 化 问答 社区 用 户 生成 答案 质量 评 
价 模型 。 然 后 ,输入 测试 集 样本 数据 ,利用 此 评价 模型 
自动 化 评价 。 输 出 层 会 输出 实际 效用 值 y ,将 y 利用 函 
数 posimnmx 函数 将 其 还 原 成 真实 值得 到 该 管 案 质 量 
评价 结果 ,从 而 完成 答案 质量 评价 。 


以 “ 知 乎 "网 站 为 例 


4 应 用 研究 
4.1 数据 采集 和 预 处 理 

本 人 研究 选取 知 乎 网 的 问题 “如 何 评价 华为 Mate 10 

& Mate 10 Pro?” 下 方 的 答案 文本 作为 质量 评价 方法 应 


对象 。 该 问题 截至 2018 年 1 月 20 日 拥有 494 个 回 
答 文 本 。 采 用 GooSeeker 软件 采集 该 问题 情境 下 问题 
提问 者 或 浏览 者 .回答 者 ,答案 文本 的 相关 数据 。 采 用 
上 述 3.1 小 节 的 方法 量化 各 个 指标 。 指 标量 化 过 程 中 
发 现 ,由 于 知 乎 问答 社区 用 户 不 存在 等 级 和 权威 ,本 研 
究 采 用 关注 者 数量 量化 ,认为 用 户 关 注 者 数量 越 多 ,用 
户 的 权威 性 越 高 ; 知 乎 问答 社区 回答 者 用 户 也 不 存在 
最 佳 答案 数量 ,采用 回答 者 被 知 乎 日 报 和 知 乎 圆桌 收 
录 的 问题 数量 量化 最 佳 答 案 数 量 , 认 为 回答 者 答案 被 
知 乎 日 报 或 者 知 乎 圆桌 收录 ,说 明 该 答案 具有 权威 性 
和 代表 性 ,可 以 认定 为 最 佳 答案 。 
由 于 本 研究 需要 考虑 不 同 的 用 户 需求 对 答案 文本 
质量 的 影响 ,所 以 选取 10 位 18 -35 周岁 的 经 常 使 用 
知 乎 APP 的 用 户 作 为 调研 对 象 ,编号 为 用 户 1 -10 ,从 
用 户 感知 角度 利用 十 分 制 的 方法 人 工 标注 答案 质量 等 
级 ,没有 确定 的 评价 标准 , 仅 赁 用 户主 观 判 断 标注 答案 
质量 等 级 。 另 外 ,由 于 本 文 仅 选 取 一 个 提问 问题 进行 
应 用 研究 ,所 以 ,用 户 提 问 数量 为 相同 值 ,对 于 输出 没 
影响 ,可 以 不 予 考虑 ,只 用 于 多 个 用 户 之 间 的 比较 分 
析 。 按 照 一 般 性 的 经 验 要 求 ,神经 网 络 模型 构建 时 , 样 
本 选择 需要 符合 二 八 定 律 , 即 训练 样本 数 为 总 样本 数 
的 8096 ,测试 样本 数 为 总 样本 数 的 20% 。 所 以 ,分 别 
将 编号 前 400 的 评论 作为 训练 样本 ,编号 401 - 494 的 
94 条 评论 作为 测试 样本 。 
4.2. 答案 质量 评价 方法 应 用 分 析 
4.2.1 不 同 算法 的 比较 分 析 首先 将 上 述 采集 到 数 
据 运用 标准 BP 神经 网 络 SVM dc ig GA -BP 神经 网 
络 4 种 方法 对 比分 析 。 采 用 Matlab2015a 作为 软件 平 


Cm 


入 不 同 的 样本 数据 进行 学 习 和 训练 分 别 得 到 输入 层 和 
隐 层 、 隐 层 和 输出 层 之 间 的 权重 系数 ,从 而 使 得 误差 
MSE 值 越 来 越 小 。 一 直到 误差 小 于 设 定 的 阐 值 或 最 大 
训练 次 数 , 然 后 停止 训练 。G4 -BP 神经 网 络 经 训练 和 
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台 ,利用 神经 网 络 工具 箱 函 数 .遗传 算法 工具 箱 编程 实 
现 BP 神经 网 络 和 CA-BP 神经 网 络 效 用 评价 方法 的 构 
建 . 训 练 和 仿真 ,同样 也 实现 SVM JA EAE DES ER 
文本 特征 维度 .回答 者 特征 维度 .时 效 性 维度 的 指标 作 
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为 基本 特征 (baseline) ,以 用 户 1 数据 样本 为 基础 针对 
基准 特征 进行 测试 。 利 用 准确 率 和 平均 误差 值 来 测 
量 各 类 算法 的 准确 性 和 性 能 。 准 确 率 是 指 测试 样本 
集中 能 够 准确 判断 评价 的 样本 数量 所 占 的 比例 , 当 分 
类 实际 值 与 期 望 值 差 值 绝对 值 控 制 在 0.3 以 内 可 以 认 
为 准确 ,准确 率 越 高 说 明 该 方法 判断 的 准确 性 越 高 ; 
平均 误差 值 用 每 个 测试 样本 误差 绝对 值 之 和 求 平均 
进行 表示 ,平均 误差 值 越 小 ,表示 模型 的 精确 度 和 合理 
性 越 强 。 结 果 见 表 6。 可 以 发 现 GA-BP 神经 神经 网 络 
算法 的 评价 效果 要 好 于 其 他 分 类 算法 ,准确 率 较 高 , 误 
差 相 对 较 低 ,可 以 应 用 于 用 户 生成 答案 质量 评价 。 
表 6 不 同 分 类 算法 的 分 类 结果 


评价 方法 准确 率 P 平均 误差 
pinë BP 神经 网 络 65.1596 0. 66 
2» RKN 62.77% 0.76 
(OO sw 63. 83% 0.69 
E CY ctm 70.15% 0.58 


L2 GA-BP 神经 网 络 的 应 用 研究 ”通过 设置 参数 
各 函数 构建 基于 GA-BP 神经 网 络 的 社会 化 问答 社区 
用 名 生成 答案 质量 评价 模型 ,分 别 对 比分 析 基于 基准 
煽 四 加 入 用 户 特征 维度 ,社会 情感 特征 后 对 评价 结果 
的 影响 。GA-BP 神经 网 络 采用 3 层 的 网 络 结构 ,由 于 
不 漳 虑 用 户 提问 问题 数量 指标 特征 ,所 以 输入 层 的 神 
经 党 个 数 为 15。 隐 层 节 点 数量 采用 实验 试 竣 方 法 对 
隐 履 神经 节点 数量 进行 确定 ,发 现 当 隐 层 节点 个 数 为 
10 jl, MSE 的 值 最 小 ,所 以 将 隐 层 节点 个 数 设置 为 10。 
ZFR ,=0.01, 最 大 训练 次 数 为 100 次 ,目标 误差 为 
0 55 将 编号 1 - 400 的 答案 文本 特征 数据 作为 训练 
样本 ,将 编号 401 -494 的 样本 作为 测试 样本 。 利 用 遗 
传 算法 进行 优化 得 到 BP 神经 网 络 最 优 的 初始 值 和 办 
值 ,设置 定义 遗传 算法 参数 初始 化 种 群 数量 为 40 ,最 
大 遗传 代数 MAXGEN = 80 .采用 实数 编码 染色 体 长 度 
121 .交叉 概率 为 px = 0.2 .变异 概率 为 pm =0.1。 然 后 
将 遗传 算法 优化 后 得 到 的 权 值 和 闵 值 带 入 BP 神经 网 
络 ,重新 进行 训练 ,分 别 对 10 位 用 户 编号 401 -494 的 
测试 样本 进行 评价 验证 。 实 验 发 现 10 位 用 户 的 训练 
样本 采用 GA-BP 神经 网 络 均 在 100 步 以 内 停止 迭代 达 
到 目标 误差 0.01。 以 用 户 1 为 例 ,用 户 1 的 训练 样本 
采用 GA-BP 神经 网 络 方法 ,选取 基准 特征 + 用 户 特征 
+ 情感 特征 为 输入 , 当 遗 传 算法 送 代 代数 在 40 次 以 内 
时 寻 到 最 优 值 , 见 图 4; BP 神经 网 络 运行 11 次 后 停止 
迁 代 达到 目标 误差 0. 01, 见 图 5。 用 户 1 的 测试 样本 
的 期 望 值 和 实际 输出 值 的 结果 , 见 图 6。 


适应 度 曲 线 终止 代数 =80 


Pa] | 


适应 度 


0 10 20 30 40 50 60 70 80 90 
进化 代数 


4 遗传 算法 迭代 次 数 


Best Validation Performance is 0.030065 at epoch 5 
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图 5 GABP 神经 网 络 训练 过 程 
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6 用户 1 标注 值 与 实际 输出 值 的 对 比 
分 别 基于 GA-BP 神经 网 络 评价 方法 , 当 输 入 特征 


为 基准 特征 、 基 准 特征 + 用户 特征 、 基 准 特 征 + 社 会 情 
感 特征 、 基 准 特征 + 用户 特征 + 社会 情感 特征 时 用 户 
1 -10 的 测试 样本 的 准确 率 P 与 平均 误差 M LUCR T 
Bra: 
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图 二 情报 三 作 
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表 7 GABP 神经 网 络 模型 效用 评价 准确 率 忆 和 平均 误差 M 


"— 基准 特征 基准 特征 + 用 户 特征 基准 特征 + 社会 情感 特征 基准 特征 + 用 户 特征 + 社会 情感 特征 
HJ 了 
准确 率 P 平均 误差 M 准确 率 P 平均 误差 M 准确 率 P 平均 误差 M 准确 率 P 平均 误差 M 
和 户 1 69. 15% 0.58 71.2896 0.64 72. 3496 0. 66 78.72% 0.43 
用 户 2 62. T196 0.65 64. 8996 0.68 71.2896 0.62 72. 3496 0.62 
用 户 3 71.28% 0.81 70.21% 0.75 68. 09% 0.69 74. 4796 0.70 
JF 4 73.40% 0. 89 72.3496 0.74 72.3496 0. 63 TT. 6696 0.69 
]"5 75.5396 1.13 T1. 6696 0.82 79.79% 0.85 79.719% 0.56 
和 户 6 60. 64% 0.85 65. 96% 0.65 67.0296 0.61 72.3496 0.64 
j^ 7 62. 77% 0.63 73. 4096 0.53 71.2896 0. 65 73.4096 0.63 
jP8 67.0296 0.61 65. 96% 0.61 69.1596 0.59 75.5396 0.58 
用 户 9 69. 1596 0.54 71.2896 0.57 716. 6096 0.56 78.1296 0.52 
用 户 10 78. 7296 0.58 79. 7996 0.54 TT. 6696 0.57 80. 8596 0.43 


5 结果 讨论 与 分 析 


二 通过 上 述 研究 发 现 ; 
CO) 通过 对 比分 析 各 类 评价 方法 结果 可 以 看 出 
GACBP 神经 网 络 方法 能 够 应 用 于 社会 化 问答 社区 用 户 
乱 契 答案 质量 评价 ,其 评价 的 准确 率 虽 然 没 有 达到 已 
有 研究 的 最 高 准确 率 ,但 是 当选 取 本 文 设计 的 特征 时 ， 
明 喇 高 于 SVM 和 最 大 倘 方法 的 准确 率 。 而 且 从 图 5 
天 网 看 出 GA-BP 神经 网 络 方法 在 迭代 收敛 速度 方面 
HPS FIRNE BP 神经 网 络 ,拥有 较 快 的 收敛 速度 ,在 
1f 站 以 内 就 能 够 快速 实现 样本 训练 学 习 , 而 且 实现 了 
100% 达到 目标 误差 ,不 容易 陷 人 局 部 最 小 值 和 无 限 特 
王 虹 ,能 够 快速 构建 社会 化 问答 社区 用 户 生 成 答案 质 
量 邑 价 模型 。 因 此 ,可 以 说 明 该 方法 能 够 应 用 于 社会 
化 河 答 社区 用 户 生成 答案 质量 评价 ,具有 一 定 的 合理 
性 和 科学 性 ,能 够 进一步 应 用 和 推广 。 

— (2) 从 表 5 可 以 看 出 当 采 用 基准 特征 + 用 户 特征 、 
基准 特征 + 社会 情感 特征 时 ,虽然 部 分 用 户 数据 样本 
准确 率 P 提升 较 少 ,但 是 平均 误差 M 减少 了 很 多 ,说 
明 选 取 基 准 特征 加 用 户 特征 时 ,可 以 使 得 评价 值 更 接 
近 目 标 值 ; 当 采 用 基准 特征 + 用 户 特 征 + 社会 情感 特 
征 时 准确 率 P 明显 提升 ,平均 评价 准确 率 为 76.38% , 
具有 较 好 的 准确 率 ,其 平均 误差 也 较 低 ,这 说 明 CA- 
BP 神经 网 络 的 质量 评价 值 更 加 接近 用 户 标注 的 真实 
值 ,表明 该 方法 具有 较 强 的 仿真 性 和 实用 性 ,引入 社会 
情感 特征 和 用 户 特征 后 能 够 提高 评价 的 准确 率 ,笔者 
设计 的 评价 指标 体系 具有 一 定 的 合理 性 和 有 效 性 。 另 
外 ,从 应 用 过 程 和 结果 可 以 看 出 基于 GA -BP 神经 网 络 
构建 面向 用 户 需 求 的 管 案 质量 评价 方法 ,还 能 够 根据 
不 同 用 户 信 息 需求 和 特点 进行 学 习 和 训练 ,可 以 通过 
神经 网 络 的 训练 学 习 , 找 寻 输入 和 输出 之 间 的 内 在 联 
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系 ,以 权重 的 形式 保存 在 神经 网 络 中 ,不 断 自 适应 和 调 
整 ,根据 不 同 用 户 信息 需求 设计 个 性 化 的 质量 评价 体 
系 , 从 而 增加 评价 模型 的 适应 性 和 通用 性 。 形 成 面向 
日 户 需求 的 个 性 化 用 户 生成 答案 质量 评价 方法 ,具有 
一 定 的 灵活 性 和 个 性 化 。 

(3 ) 对 于 社会 化 问答 社区 而 言 ,保障 平台 用 户 生 
成 内 容 质量 和 提供 高 质量 的 知识 服务 是 推动 平台 发 展 
的 动力 。 社 会 化 问答 社区 应 该 根据 不 同 用 户 需 求 和 特 
点 对 新 生成 的 答案 质量 进行 评价 和 筛选 ,可 视 化 呈现 
高 质量 答案 给 用 户 , 进 而 促进 社区 优质 答案 内 容 的 传 
播 。 根据 本 文 结论 ,社会 化 问答 社区 应 当 从 答案 文本 
特征 、 回 答 者 特征 、 时 效 性 、 用 户 特征 社会 情感 特征 等 
角度 对 优质 答案 内 容 进行 挖掘 和 评价 。 可 以 采用 机 需 
学 习 中 的 人 工 神经 网 络 模型 (如 BP 神经 网 络 ) 等 方法 
进行 评价 和 得 选 优质 内 容 ,通过 向 用 户 推荐 和 呈现 优 
质 内 容 ,控制 和 优化 平台 答案 内 容 质量 吸引 新 用 户 ,也 
可 以 为 老 用 户 建立 社区 认同 感 ,从 而 进一步 促进 社会 
化 化 问答 社区 可 持续 发 展 。 

本 研究 为 了 解决 社会 化 问答 社区 用 户 生成 答案 质 
量 自动 化 评价 问题 ,针对 存在 的 评价 指标 体系 不 够 全 
面 \ 模 糊 性 和 缺乏 个 性 化 等 问题 ,引入 社会 情感 特征 和 
日 户 特征 维度 ,运用 因子 分 析 和 结构 方程 实证 构建 用 
户 生成 答案 质量 评价 指标 体系 。 基 于 GA-BP 神经 网 
络 模型 设计 了 答案 质量 自动 化 评价 方法 。 最 后 ,选取 
知 乎 网 站 数据 对 用 户 生成 答案 质量 评价 指标 体系 和 自 
动 化 评价 方法 进行 应 用 研究 。 应 用 结果 表明 本 研究 构 
建 的 评价 指标 体系 和 评价 方法 具有 一 定 的 合理 性 和 有 
效 性 。 但 是 研究 仍然 存在 一 定 的 不 足 , 首 先 应 用 研究 
样本 选取 具有 一 定 的 局 限 性 , 仪 部 分 选取 “ 知 乎 网 站 ” 
的 数据 验证 方法 应 用 的 有 效 性 和 合理 性 ,话题 内 容 也 
比较 单一 ,没有 进一步 地 将 方法 拓展 到 各 个 领域 和 类 
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型 的 问答 社区 。 话题 数据 抽样 方面 存在 局 限 ,可 能 会 
导致 研究 结论 的 偏差 。 在 后 续 的 研究 中 将 进一步 加 大 
应 用 研究 对 象 的 选取 ,扩大 方法 应 用 范围 和 领域 。 其 
次 , 仅 从 文本 、 回 答 者 等 外 部 特征 层面 选取 和 量化 评价 
上 标 , 没 有 深入 到 答案 文本 语义 层面 ,从 语义 内 容 方 面 
评价 用 户 生 成 管 案 质 量 。 后 续 的 研究 中 需要 结合 语义 
网 、 机 器 学 习 等 技术 进一步 加 强 对 于 用 户 生成 答案 质 
量 语义 层面 评价 研究 。 另 外 ,情境 也 是 用 户 评价 和 得 
选 答案 质量 的 重要 影响 因素 ,后续 的 研究 中 将 进一步 
探讨 不 同 维度 因素 对 答案 质量 的 影响 。 
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Research on Automated Evaluation of User Generated Answer Quality in 
Social Question and Answer Community 
———Taking "Zhihu" as an Example 
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f Abstract: [ Purpose/ significance | The paper aims to build the social QA community users to generate the quality e- 
válüdtion index system , achieve automatic evaluation and selection of answers to user needs, and improve the quality of the 
cgmununity QA community service. [ Method/process] The introduction of social emotional features and user characteris- 
tics, and factor analysis and structural equation analysis are used to build an index system for evaluating the quality of user 
generated answers. Then, based on the GA -BP neural network model, the automatic evaluation method of the answer qual- 
ityris designed. The application of the quality evaluation index system and automatic evaluation method of user generated 
answers is studied. [ Result/conclusion | The evaluation index system consists of 5 dimensions, including the characteris- 
tic&-of the answer text, the characteristics of the respondent, the timeliness, the user characteristics and the social emo- 
tio characteristics. The experimental analysis shows that the method of automatic evaluation of the answer quality based 
on GA-BP neural network is more accurate and lower than other methods. It is feasible and effective, and can be further 
applied and popularized. 
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